图像垫是指从自然图像中预测未知前景区域的α值。先前的方法集中在传播已知区域到未知区域的α值。但是，并非所有自然图像都有特别已知的前景。透明物体（例如玻璃，烟雾，网络等）的图像具有较少或没有已知的前景图像。在本文中，我们提出了一个基于变压器的网络传输，以模拟具有大型接收场的透明对象。具体而言，我们将三个可学习的三动物重新设计为将先进的语义特征引入自我发项机制。提出了一个小型的卷积网络，以利用全局功能和非背景掩码来指导从编码器到解码器的多尺度特征传播，以维护透明对象的上下文。此外，我们创建了具有小型已知前景区域的透明物体的高分辨率垫子数据集。在几个基准基准上进行的实验证明了我们提出的方法比当前最新方法的优越性。

Multi-view data containing complementary and consensus information can facilitate representation learning by exploiting the intact integration of multi-view features. Because most objects in real world often have underlying connections, organizing multi-view data as heterogeneous graphs is beneficial to extracting latent information among different objects. Due to the powerful capability to gather information of neighborhood nodes, in this paper, we apply Graph Convolutional Network (GCN) to cope with heterogeneous-graph data originating from multi-view data, which is still under-explored in the field of GCN. In order to improve the quality of network topology and alleviate the interference of noises yielded by graph fusion, some methods undertake sorting operations before the graph convolution procedure. These GCN-based methods generally sort and select the most confident neighborhood nodes for each vertex, such as picking the top-k nodes according to pre-defined confidence values. Nonetheless, this is problematic due to the non-differentiable sorting operators and inflexible graph embedding learning, which may result in blocked gradient computations and undesired performance. To cope with these issues, we propose a joint framework dubbed Multi-view Graph Convolutional Network with Differentiable Node Selection (MGCN-DNS), which is constituted of an adaptive graph fusion layer, a graph learning module and a differentiable node selection schema. MGCN-DNS accepts multi-channel graph-structural data as inputs and aims to learn more robust graph fusion through a differentiable neural network. The effectiveness of the proposed method is verified by rigorous comparisons with considerable state-of-the-art approaches in terms of multi-view semi-supervised classification tasks.

视觉检索中的大多数现有方法是通过比较其全局特征向量的两种方式，该矢量错过了足够的信息并缺乏可解释性，检测图像或视频中的对象，并将文本与依赖复杂的模型设计或建模的精细元素对齐通过较低效率遭受视觉和文本令牌的交叉注意相互作用。为了解决这些局限性，最近的一些作品简单地汇总了代币的相似性以实现细粒度的对齐方式，但它们缺乏直观的解释，并且忽略了令牌级特征和具有高级语义的全球表示之间的关系。在这项工作中，我们重新考虑细粒度的跨模式对准，并为其设计一种新的模型不合命固式配方。我们还揭开了最近的流行作品的神秘面纱，并将其纳入我们的计划。此外，受最佳运输理论的启发，我们引入了\ emph {tokenflow}，这是对拟议方案的实例化。通过仅修改相似性函数，我们方法的性能与主要视频文本检索基准上具有重型模型设计的SOTA算法相当。可视化进一步表明\ emph {tokenflow}成功利用细粒度的信息并获得了更好的解释性。

投资专业人员依靠将公司收入推送到未来（即收入预测）来近似规模的估值（高增长阶段的私人公司）并为他们的投资决定提供了信息。这项任务是手动和经验性的，使预测质量在很大程度上取决于投资专业人员的经验和见解。此外，关于规模的财务数据通常是专有，昂贵和稀缺的，排除了广泛采用数据驱动的方法。为此，我们提出了一种模拟的收入外推（SIRE）算法，该算法在小型数据集和短时间序列上产生精细颗粒的长期收入预测。父亲将收入动力学建模为线性动力学系统（LDS），该系统使用EM算法解决。主要的创新在于如何在培训和推论过程中获得嘈杂的收入测量。 Sire为在各个部门运作并提供置信度估计的规模工作。关于两项实际任务的定量实验表明，父亲大大超过了基线方法。当父亲从短时间序列中推断出来并长期预测时，我们还会观察到高性能。绩效效率的平衡和结果的解释性也得到了经验验证。从投资专业人员的角度进行评估，父亲可以精确地找到在2至5年内具有巨大潜在回报的规模。此外，我们的定性检查说明了父亲收入预测的一些有利属性。

具有基于框架的相机的光流计算具有很高的精度，但速度受算法的模型大小或相机帧速率的限制。这使得它不适用于高速应用程序。事件摄像机提供连续的异步事件流，以克服帧速率限制。但是，用于处理数据借用框架之类的算法，例如设置限制速度，或者遭受较低的精度。我们融合了框架和基于事件的管道的互补准确性和速度优势，以提供高速光流，同时保持较低的错误率。我们的生物模仿网络通过MVSEC数据集进行了验证，该数据集以4倍速度上升显示了19％的误差降解。然后，我们通过高速无人机飞行方案演示了系统，该方案甚至在光学摄像头看到无人机使其适用于跟踪和分割等应用程序之前，高速事件摄像头也能计算流程。这项工作表明，可以通过融合来自其他方式的数据来克服基于框架的处理中的基本权衡。

Video-Text检索是一类跨模式表示学习问题，其目标是选择与给定文本查询和候选视频库之间的文本查询相对应的视频。视觉训练预处理的对比范式在大规模数据集和统一的变压器体系结构中表现出了有希望的成功，并证明了联合潜在空间的力量。尽管如此，视觉域和文本域之间的固有差异仍未被消除，并且将不同的模态投射到联合潜在空间可能会导致单个模式内的信息扭曲。为了克服上述问题，我们提出了一种新的机制，可以学习从源模式空间$ \ mathcal {s} $到目标模态空间$ \ mathcal {t} $的新颖机制桥接视觉和文本域之间的差距。此外，为了保持翻译之间的循环一致性，我们采用了一个循环损失，涉及从$ \ MATHCAL {S} $到预测的目标空间$ \ Mathcal {t'} $的两个前向翻译，以及$ \ Mathcal {t't'的向后翻译} $返回$ \ Mathcal {s} $。在MSR-VTT，MSVD和DIDEMO数据集上进行的广泛实验证明了我们LAT方法的优势和有效性与香草的最新方法相比。

培训不同子模型的合奏在经验上已被证明是改善深度神经网络的对抗性鲁棒性的有效策略。图像识别的当前集合训练方法通常通过单速向量编码图像标签，从而忽略标签之间的依赖关系。在这里，我们提出了一种新颖的对抗训练方法，该方法可以共同了解标签和模型之间的条件依赖性。我们测试了广泛使用的数据集MNIST，FASIONMNIST和CIFAR-10的方法。结果表明，与最先进的方法相比，我们的方法对黑盒攻击更为强大。我们的代码可在https://github.com/zjlab-ammi/lsd上找到。

已经出现了许多变形金刚的改编，以解决单模式视觉任务，在该任务中，自我发项模块被堆叠以处理图像之类的输入源。直观地，将多种数据馈送到视觉变压器可以提高性能，但是内模式的专注权也可能会稀释，从而可能破坏最终性能。在本文中，我们提出了一种针对基于变压器的视力任务的多模式令牌融合方法（TokenFusion）。为了有效地融合多种方式，TokenFusion动态检测非信息令牌，并用投影和聚合的模式间特征将这些令牌替换为这些令牌。还采用了残留位置对准来实现融合后模式间比对的明确利用。 TokenFusion的设计使变压器能够学习多模式特征之间的相关性，而单模式变压器体系结构基本上保持完整。对各种均质和异构方式进行了广泛的实验，并证明TokenFusion在三个典型的视觉任务中超过了最新方法：多模式图像到图像到图像到图像转换，RGB深度语义分段和3D对象检测3D对象检测点云和图像。我们的代码可从https://github.com/yikaiw/tokenfusion获得。

本文提出了一个称为多视图和时间熔断变压器（MTF-Transformer）的统一框架，以适应不同的视图数字和视频长度，而无需在3D人体姿势估计中（HPE）进行摄像机校准。它由特征提取器，多视图融合变压器（MFT）和时间融合变压器（TFT）组成。特征提取器估计每个图像的2D姿势，并根据置信度融合预测。它提供以姿势为中心的功能嵌入，并使随后的模块计算轻量级。 MFT融合了不同数量的视图与新颖的相对注意区块的特征。它适应性地测量了每对视图之间的隐式相对关系，并重建更有信息的特征。 TFT聚集了整个序列的特征，并通过变压器预测3D姿势。它适应地处理任意长度的视频，并将时间信息完全统计。变压器的迁移使我们的模型能够更好地学习空间几何形状，并为不同的应用方案保留鲁棒性。我们报告了360万人类，综合赛和KTH Multiview Football II的定量和定性结果。与带有摄像头参数的最新方法相比，MTF-Transformer获得竞争结果，并以任意数量的看不见的视图良好地概括为动态捕获。

Few Shot Instance Segmentation (FSIS) requires models to detect and segment novel classes with limited several support examples. In this work, we explore a simple yet unified solution for FSIS as well as its incremental variants, and introduce a new framework named Reference Twice (RefT) to fully explore the relationship between support/query features based on a Transformer-like framework. Our key insights are two folds: Firstly, with the aid of support masks, we can generate dynamic class centers more appropriately to re-weight query features. Secondly, we find that support object queries have already encoded key factors after base training. In this way, the query features can be enhanced twice from two aspects, i.e., feature-level and instance-level. In particular, we firstly design a mask-based dynamic weighting module to enhance support features and then propose to link object queries for better calibration via cross-attention. After the above steps, the novel classes can be improved significantly over our strong baseline. Additionally, our new framework can be easily extended to incremental FSIS with minor modification. When benchmarking results on the COCO dataset for FSIS, gFSIS, and iFSIS settings, our method achieves a competitive performance compared to existing approaches across different shots, e.g., we boost nAP by noticeable +8.2/+9.4 over the current state-of-the-art FSIS method for 10/30-shot. We further demonstrate the superiority of our approach on Few Shot Object Detection. Code and model will be available.